#Policy Distillation

4 篇

Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation

超越教师分配：领域归一化的多教师在线策略蒸馏

🧭 多教师策略蒸馏 · 领域归一化

Nanyang Technological University · Yale University · University of Manchester

提出 DN-MOPD，按领域反馈 spread 重缩放，解决多教师策略蒸馏中反馈尺度失衡问题

📌 工作参考价值（4 点）

在多任务/多专家蒸馏或 RL 融合时，不要只做任务路由，还要监控并平衡不同 reward/teacher 反馈的尺度；可提前统计各领域反馈的标准差，按该值重缩放，避免高方差信号主导共享模型。
如果在线估计 spread 成本高，可直接使用离线测得的固定领域权重，论文表明固定权重接近测量值时性能相当，便于工程落地。
对电商搜索推荐中的多目标强化学习（如点击率、转化率、GMV 约束），不同目标 reward 方差差异大，容易让某个目标主导策略，可借鉴按目标 spread 归一化再加权。
在 Agent 或多 teacher 集成场景，评估各 teacher 反馈分布，优先降权高方差域，而不是单纯提升弱势域，控制实验显示调低主导域反馈是关键。

Training | 2026-09-27 | HF Daily | score 7/10

Capek 0.5：以执行为中心的具身视觉语言模型

🧭 执行中心的能力整合与多专才合并训练

XPENG ROBOTICS

提出按执行阶段划分能力分类，通过专才强化学习与权重合并-蒸馏实现统一多模态模型

📌 工作参考价值（3 点）

多能力统一模型训练范式：以电商/推荐系统中的多任务（CTR/CVR/搜索相关性）为类比，可先将不同目标视为独立能力，各自训练专才（LoRA或独立头），再通过权重合并（如TIES-Merging）和路由蒸馏，得到一个推理开销低且保留各能力的统一模型，避免多模型部署。
可验证奖励驱动的强化学习：在推荐Agent的动作决策（如消息推送时机、优惠券发放）中，可利用规则/仿真环境构造可验证奖励（收益提升、转化率），直接用RL优化LLM策略，减少对人工偏好标注的依赖。
能力分类指导系统设计：借鉴“空间推理、时间理解、动作指导、状态验证”的分类，在搜索推荐Agent中显式拆分出“用户意图理解、长短期兴趣建模、item选择、结果验证”等子能力，使数据构造和训练目标更聚焦。

Training | 2026-08-06 | HF Daily | score 7/10

信任区域策略蒸馏

🧭 信任区域蒸馏训练范式

Hong Kong University of Science and Technology (Guangzhou) · Microsoft · Xingyun Zhili

动态构建近端教师将在线策略蒸馏转化为稳定训练，理论保证梯度方差控制且零额外开销

📌 工作参考价值（4 点）

推荐系统的强化学习训练（如对话推荐）可借鉴：用当前学生策略与目标教师策略的移动平均构造近端教师，替代固定教师监督，缓解梯度方差，提升训练稳定性，无需额外推理开销。
蒸馏时引入信任区域约束，避免学生一次性追随强教师导致的剧烈更新，相当于在策略空间上做平滑，可防止训练崩溃。
理论部分提供单调改进界，在电商/广告场景中对风险敏感的策略优化（如出价策略、排序策略）有直接指导意义，确保迭代更新不会损害累积收益。
零额外计算量的特点适合工业级大规模在线蒸馏，可参考其动态混合系数的简单实现，快速落地到现有 teacher-student 框架。

Training | 2026-07-05 | HF Daily | score 6/10

扩散模型多任务训练的在线策略蒸馏视角统一

🧭 多任务扩散模型训练 · 在线策略蒸馏

提出 DiffusionOPD，通过在线策略蒸馏将多个任务教师知识融入统一学生，实现多任务扩散模型高效训练

📌 工作参考价值（4 点）

多任务扩散模型训练中，独立训练专家教师再通过在线蒸馏合并到一个学生，可避免联合训练的任务干扰与灾难性遗忘，适合电商多目标生成场景（如多风格 banner 生成或多场景推荐解释生成）。
使用学生自身 rollout 轨迹进行蒸馏（而非教师轨迹），能更好地对齐学生当前分布，提升蒸馏效率，这一技巧可直接迁移到生成式推荐的扩散模型微调。
导出的闭式 per-step KL 目标提供低方差梯度，能稳定 RL 训练，可应用于基于扩散模型的用户行为序列生成或交互式多臂老虎机推荐。
确定性 ODE 与随机 SDE 的统一 mean-matching 公式，为实际部署中采样器选择提供依据，减少推理代价，对需要实时响应的推荐系统有益。

Training | 2026-05-13 | HF Daily | score 6/10